DR Pixel：视觉语言模型驱动的页面原生深度研究智能体
🧭 页面原生视觉深度研究智能体
NYU Shanghai · University of California, Berkeley · Rational Dynamics · Toyota Technological Institute at Chicago · New York University
首个开源端到端多模态深度研究代理，直接检索渲染页面图像并引入反事实信用重加权训练，超越 OCR 基线
📌 工作参考价值（4 点）
- 对商品详情页、广告落地页等富视觉文档，可直接用页面截图作为检索与推理单元，替代 OCR 文本化，保留表格、价格、图片、规格等结构化信号，适合多模态 LLM 在电商搜索/推荐中做页面级召回与问答。
- 在 agentic 搜索/推荐流程中，减少中间 OCR 和文本转换步骤，可显著降低工具调用次数与延迟；页面原生检索对含促销规则、对比表、图表的复杂页面更鲁棒，可用于营销活动页理解和智能导购。
- 训练 Agent 轨迹时，teacher trajectory 噪声大；可借鉴 counterfactual credit reweighting，按每个步骤对最终转化的反事实贡献做加权，提升 SFT 数据质量，而非简单过滤失败轨迹。
- 构建评测时，面向文档中混合文本、表格、图像、公式等多模态证据设计问题，比纯文本问答更能反映真实业务中商品详情、广告素材、规则文档的理解能力。
WorkFactory：将职业意图转化为可执行工作以规模化训练智能体
🧭 Agent 职业任务构建与 SFT 训练
IQuest Research · Zhejiang University · Renmin University of China · Shenzhen Institutes of Advanced Technology · Shanghai Jiao Tong University
提出 WorkFactory 框架，通过信息级规划与探针执行修复构建可执行职业任务，训练 WorkPilot 系列显著提升专业工作基准
📌 工作参考价值（4 点）
- 构建电商/广告 Agent 微调数据时，用「业务意图 → 信息支持图」方式定义任务依赖（如商品信息、用户画像、预算约束），自动实例化并校验信息完备性，减少专家演示失败。
- 在数据管线中引入「探针执行 + 修复」闭环：先让弱模型/环境跑任务，诊断缺失或不一致信息，再修复任务定义但保持原意图，可显著提升 SFT 数据质量与下游收益，尤其适合多步营销 Agent。
- 多尺寸训练结论：不要盲目扩展数据/模型，监控执行轨迹长度等行为指标；其先增后降与收益递减提示 agent 训练存在效率拐点，可帮助企业选择合适规模。
- 环境缺陷修复可迁移到电商 Agent 平台：给任务模板维护信息依赖清单，执行前校验工具/上下文完备性，减少无效动作与专家演示噪声。
WorkRover：通过递归环境演化训练长程 Cowork Agent
🧭 长程 Agent 环境演化与信用分配训练 ★ 深度解读
Fudan University · East China Normal University · Renmin University of China · Shanghai Qiji Zhifeng Co., Ltd. · Shanghai Innovation Institute
提出 WorkRover 框架，用递归环境演化与 Verifier 进度信用分配提升长程 cowork agent 训练，多个基准大幅超过基座
📌 工作参考价值（4 点）
- 环境构建可借鉴 Harness 思路：在电商 Agent 任务平台里，把“上下文 / 任务 / 校验器”作为同一版本包管理，校验器必须绑定证据并接收 valid alternatives；这样能减少“任务生成与评测脱节”导致的错误奖励。
- FCR 的最小修复 + 组合回放适用于线上工作流配置变更：对 query 改写、推荐策略或工具配置做修改时，冻结原 intention / eval 规则，枚举少量组件修复组合，用固定种子回归验证，选最小可验证变更而非全量重生成，降低误伤。
- VTCA 的 turn 级信用分配可直接迁移到长链路搜索 / 推荐 Agent：用确定性 workspace / 结果检查器计算每步可观测进度，不做中间 LLM Judge；通过工具输出或产物版本依赖决定哪些前置查询 / 读取步骤分享奖励，能缓解多跳检索、对比决策中的 sparse reward。
- 训练数据 pipeline：SFT 用大模型生成轨迹 + 验证，RL 前先对 task-verifier 做一致性筛选，再保留少数高质量对，适合在电商业内部署低成本后训练。
递归环境缩放：面向通用长程智能体的难度递增方法
🧭 Agent 环境难度缩放与课程训练
UESTC · HKUST · CUHK (SZ) · THU · WU
提出 RES 框架，固定任务目标、递归变换信息访问/资源关系/执行依赖，提升环境难度并增强 SFT
📌 工作参考价值（4 点）
- 借鉴 RES 的环境缩放机制做难度课程：在电商 Agent/对话推荐模拟器中，固定任务目标（如找商品、比价）不变，逐步限制信息可见字段、增加资源约束或依赖更多工具调用，生成难但语义一致的训练轨迹。
- execution-grounded checks 相当于自动质检：对生成的难环境不仅检查语法，更用可执行环境验证是否仍可完成，避免产生不可解任务，这对生成 Agent 训练样例有直接参考。
- 递归继承持续累积难度：可把多轮变更叠加，形成难度递增轨迹，用于课程学习或困难样本挖掘，避免每次从头构造。
- 结论显示同轨迹数下 RES 轨迹 SFT 全面优于原始轨迹：在推荐/搜广推 Agent 数据稀缺时，可优先构造变化环境扩充训练集，比单纯堆原始成功轨迹更划算。
递归自重写扩展复杂任务成功轨迹
🧭 轨迹重写 · 自改进 SFT
Tencent HY LLM Frontier · University of Maryland, College Park · University of Georgia · National University of Singapore · Indiana University
用 planner-critic-executor 递归重写多 harness 成功轨迹，将 2k 源轨迹扩至 11k，SFT 后 terminal 任务 pass@3 全面提升
📌 工作参考价值（4 点）
- 数据合成去 harness 特定干预：引入 critic 自动检查 verifier leakage / solution leakage，可借鉴到推荐 Agent 训练数据生成中，避免把策略特有字段、评估答案或工具返回信号写进 SFT 样本，提升线上一致性。
- 成功轨迹规模化：用 planner 把少量成功 case 抽取为 runbook，executor 在新 sandbox 重放生成多样化轨迹，适合电商搜索/推荐中稀缺的成交路径、高转化 query 改写样本扩增。
- 多策略并行收集后统一蒸馏：三个 harness 联合比单一最强 harness 多解决 34.3% 任务；在业务中可并行跑多路召回/排序/工具链，仅保留成功结果训练 base 模型，避免单管线能力偏置。
- 过程奖励过滤：重写后 process reward 上升说明中间步骤质量提高；对长程推荐/Agent 任务，可用过程奖励而非只看最终结果来做数据筛选。
ReSAIL：缓解迭代智能体自蒸馏性能崩溃
🧭 Agent 自蒸馏训练稳定化
Gaoling School of Artificial Intelligence, Renmin University of China
提出 ReSAIL 插件，通过选择特权信息影响大的步骤蒸馏并保持特权条件分布，平均提升 22.5% 成功率
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 的迭代自蒸馏训练中，若教师有特权信息（如用户真实意图、后续转化、库存），避免直接用线上部署轨迹蒸馏，可借鉴 ReSAIL：选择 PI 影响大的步骤蒸馏，并用教师 PI 条件输出作为正则，稳定多轮迭代。
- 离线数据选择可用 sensitivity 指标：计算 teacher 在有无 PI 下输出分布差异，筛选差异大的交互步骤，提升数据效率，减少无效样本。
- 工程实现上，在学生训练 loss 中加入与冻结 teacher 的 KL 散度（针对 PI 条件分布），即使部署时无 PI 也能保持隐式行为一致性，防止下一轮 teacher 退化。
- 对搜索推荐中的 query 改写/推荐解释 Agent，若使用 oracle 信息（点击/购买标签）自蒸馏，可沿用“保留特权行为”思想，避免多轮迭代后策略漂移。
不要掩码环境：观察监督如何改变 Agent 在 RL 下的探索
🧭 Agent 轨迹 SFT 监督目标扩展
University of Maryland · AWS AI Labs
SFT 同时监督 observation token，无需额外数据即可提升后续 GRPO 的 pass@k 与探索多样性
📌 工作参考价值（4 点）
- 在训练对话式推荐 / 搜索 Agent 时，SFT 阶段可以对环境返回的观察 token（如商品信息、搜索结果片段）也计算交叉熵损失，不增加数据、参数或序列长度，能显著提升后续 RL 的采样质量（pass@k）。
- 若 Agent 需要工具调用或多轮交互，联合监督 action 与 observation 可以防止模型过度特化于动作生成，保持对环境的预测能力，使 RL 阶段策略更新幅度更小、更稳定。
- 对于需要高多样性输出的场景（如广告文案生成、Query 推荐），可借鉴 ActObs 思路：在预训练或 SFT 时对“用户反馈”或“系统状态”也加监督，让 RL 后模型保留更多熵，提升 pass@k 而非只追求 pass@1。
- 工程实现上零额外成本：只需修改 loss mask，把原本作为上下文的 observation token 也纳入预测目标，即可复用现有 SFT 流水线。
FACET：终端任务合成中保留源意图与可执行状态
🧭 终端 Agent 可执行任务合成与数据高效微调 ★ 深度解读
University of Science and Technology of China · Shanghai AI Laboratory · Fudan University
FACET 通过先构建并修复容器环境、以共享可执行状态串联指令/解法/验证器，合成高密度可验证终端任务，用 1.2K 成功轨迹显著提升多尺度模型 Terminal-Bench 表现。
📌 工作参考价值（4 点）
- 在构建 Agent 训练/评估环境时，优先先物化执行环境（文件、schema、服务、依赖），再生成指令、参考解和校验器；用真实落地状态作为共享 grounding，能显著减少 schema/path/contract mismatch。
- 顺序生成 I→S→V 且让 solution 实际执行后再生成 verifier，可以提高 solution–verifier 对齐；在业务中搭建离线模拟环境（如模拟用户、商品库、策略状态）时可直接套用该顺序。
- 验证失败时通过执行 trace 路由到具体 artifact 单独修复，而不是整包重生成，可保留已有效组件、降低合成成本；适合用于构建数据合成 pipeline 或 RL 环境。
- 用更高密度的可执行检查（多个独立断言）能暴露“只差一两个条件”的失败模式，提供更细粒度训练信号；在标注成本高时，应优先提升单条数据的 grounding 与验证密度，而不是单纯扩大数量。
搜索控制边界的简报引导纠正性偏好蒸馏
🧭 LLM搜索代理·漂移纠正与偏好蒸馏 ★ 深度解读
Renmin University of China · Alibaba Group
通过任务锚定的搜索状态简报从学生交动中构造状态匹配偏好对，纠正持久搜索漂移
📌 工作参考价值（4 点）
- 训练搜索/对话代理时，可为每个决策时刻构建一份教师端 search-state brief（含原始目标、关键约束、已获证据与缺失信息），以此作为训练时的特权参考，避免教师被学生已产生的误导上下文带偏。
- 利用学生自身交动的失败轨迹构造 状态匹配偏好对：失败步骤的原始延续 vs 教师针对该错误生成的纠正延续；成功轨迹中，最早的证据支撑答案 vs 不必要的继续检索。仅在训练时使用这些偏好执行 DPO，推理时无需额外开销。
- 偏好对的选择应结合 brief引导的局部错误评估与 rollout 最终结果，不预设失败轨迹中每一步都错，也不丢弃成功轨迹中的终止监督信号，以此过滤噪声样本。
- 电商场景的多步商品检索或客服代理，常因召回的相关文档引发主题漂移或约束丢失；可借鉴 BOUND 在状态层面锚定原始意图与约束，通过 DPO 巩固正确的搜索控制决策。
面向长程终端任务的递归合成框架
🧭 递归合成 · 终端Agent训练任务 ★ 深度解读
Tencent HY LLM Frontier · University of Georgia · University of Maryland, College Park · University of Pennsylvania · Indiana University
递归扩展验证式合成，每任务$0.05且难度持续攀升，显著提升Agent长程执行能力。
📌 工作参考价值（4 点）
- 递归合成框架可自动化生成难度递进的训练任务：从已有种子任务出发，扩展解决方案、重对齐验证器与指令，沙箱验证通过即接受，可用于构建持续提升的 agent 训练课程。
- 低成本大规模验证数据：每任务约 $0.05，且验证成功率高，对需要可执行、可验证的训练场景（如电商客服工具调用 Agent）有直接借鉴。
- 多样性控制策略：通过种子 lineage 上限、重写操作符多样化、领域分布保持等手段，避免合成数据多样崩塌；可迁移到推荐或对话系统中自动生成多样化训练样本的流程。
- 合成数据结合 PPO 训练可显著提升 Agent 长程规划与工具使用：Qwen3.5-27B 在 Terminal-Bench 2 上相对基座提升 20.0%，表明即使无人工标注，仅靠合成任务和可执行奖励也能获得强泛化能力。
TurnSight：轮次级后见自蒸馏实现工具推理细粒度信用分配
🧭 Agent 后见自蒸馏 · 轮次信用分配 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Baidu Inc.
利用多前瞻视野的执行条件后见信号调制 RL 优势，实现多轮工具推理的精准轮次信用分配
📌 工作参考价值（4 点）
- 在多轮 Agent 决策（如搜索推荐系统中的多步查询、工具调用）中，可直接将环境执行结果作为自然的后见监督，无需依赖外部参考轨迹或人工标注，实现状态对齐的细粒度信用分配。
- 通过多前瞻视野（例如 d=1,2,3）构建互补的后见教师，利用方向一致性投票选择最可靠的监督信号，既能捕捉即时执行质量，又能反映延迟影响，避免单一视野的偏差或噪声。
- 组内规范化（prompt-group normalization）将有界后见权重与 RL 基础优势对齐，仅调制幅度而不改变优化方向，可与 GRPO 等策略梯度算法无缝集成，无额外模仿损失。
- 工程实现上，所有教师和参考分支可冻结，仅需在训练时计算一次后见信号，部署时仅用到学生策略，开销低且易于扩展。
OpenForgeRL：在任意环境中训练原生 Harness 智能体
🧭 Agent 端到端 RL 训练与 Harness 解耦 ★ 深度解读
Columbia University · Dartmouth College · Microsoft Research
一个开源框架，通过远程容器化与轻量代理解耦，支持用标准 RL（veRL）在任何智能体框架与任何环境中端到端训练 agent
📌 工作参考价值（4 点）
- 训练与推理解耦的工程模式：用轻量级 Proxy 拦截 Harness 的模型调用，自动重建轨迹，直接将复杂 agent 的交互过程转为 RL 可消费的样本，适用于内部多轮对话/工具调用 agent 的在线强化学习，无需重写训练代码。
- 云端容器化 rollout 编排：Kubernetes 编排远程沙箱，每个 rollout 独立容器，训练节点与 rollout 节点完全分离，可弹性伸缩。在电商推荐中可复现这种「训练 GPU + 远程 CPU 执行环境」的解耦架构，用于策略学习或 Agent 探索。
- 自动任务与环境合成流水线：通过「提出-剪枝-构建-测试-精炼」五步法自动生成大量可执行任务与 Docker 环境，可迁移到推荐系统中生成多样化的用户 query、对话策略或评测任务。
- RL 带来的 agentic 可靠性提升：实验表明 RL 显著改善自我验证、工具覆盖率和多步规划能力，但纠错能力依然薄弱。这提示在业务 Agent 训练中，可针对性地引入纠错样例或辅助任务来补强。
过程奖励驱动的自适应树展开多轮智能体强化学
🧭 多轮Agent RL · 树展开探索
UC San Diego · Amazon
基于中间过程评分引导树展开，使多轮Agent RL训练更高效，SWE-Bench提升5.0点
📌 工作参考价值（4 点）
- 在多轮对话推荐/搜索中，可将完整对话轨迹组织为树，利用用户中间信号（如点击、停留）或任务子指标做过程评分，及早剪枝无效分支，节省推理成本。
- 对于电商购物助手等多步Agent，把任务分解成子步骤并训练轻量过程评分器，在RL训练时动态分配采样预算，避免在死胡同路径上浪费rollout。
- 借鉴共享前缀复用机制：不同分支共享前半段合理交互，避免重复生成相同历史，显著提升训练吞吐。
- PATR与GRPO/PPO等标准策略优化兼容，可直接嵌入现有LLM Agent训练管线，只需额外训练一个过程奖励模型（可利用业务已有反馈信号），工程落地容易。
基于前缀重放的多轮在线策略蒸馏
🧭 Agent 多轮交互蒸馏 · 前缀重放 ★ 深度解读
Microsoft Research · University of Amsterdam
用教师前缀重放替代环境交互，以步骤衰减平衡学生相关性与教师可靠性，实现加速免工具调用的Agent蒸馏
📌 工作参考价值（4 点）
- 离线环境训练Agent：若业务中存在多轮对话推荐、工具调用Agent（如商品推荐对话、搜索推荐辅助），可用教师模型的历史交互轨迹作为离线重放池，学生只在重放前缀上生成动作，无需实时调用外部API或模拟器，大幅降低训练基建成本。
- 前缀分布控制策略：将多轮蒸馏转化为“有效前缀分布设计”的思路，可迁移到序列生成或对话生成的密度蒸馏，通过在轨迹不同位置施以衰减权重，抑制后期累积误差对监督信号的影响，改善学生模型的长程表现。
- 复用RL训练轨迹：教师进行在线策略强化学习（如GRPO）时产生的轨迹可直接作为蒸馏前缀池，无需额外采集费用，该“免费”数据复用模式可用于业务中已有RL训练管线的场景，提升样本效率。
- 多环境统一蒸馏：若需要训练一个同时处理多个垂直领域（如搜索、推荐、工具调用）的通用Agent，可将各环境的教师轨迹分别收集后合并为一个离线池，从而避免同时部署多个在线环境，降低系统工程复杂度。
Qwen-AgentWorld：面向通用Agent的语言世界模型
🧭 语言世界模型增强Agent训练与规划 ★ 深度解读
Qwen Team
首个覆盖7个交互域的语言世界模型，通过三阶段训练实现高保真环境仿真，并验证世界建模可提升Agent策略与任务表现
📌 工作参考价值（4 点）
- 三阶段训练管线可迁移：CPT注入世界知识、SFT激活“下一状态预测”推理模式、RL强化仿真精度。此范式可用于训练电商场景的环境模拟器（如模拟价格变化、库存波动、用户行为反馈），为Agent提供安全训练环境。
- 信息论损失掩蔽：根据动作-观测的统计特征（重叠率、新颖度、Jaccard等）判定信息量，对低价值turn（如API回声、纯确认）屏蔽损失但保留上下文。推荐系统训练中可借鉴此方法，自动过滤低质量点击/曝光序列中的无信息step，提升学习效率。
- 世界模型作为Agent预训练任务：世界建模训练（预测环境反馈）可作为Agent策略学习的前置warm-up，显著提升下游任务表现。在电商Agent（如对话式购物助手）设计时，可先训练其预测用户回复或系统状态变化，再微调至目标任务，获得更强基座。
- 可控仿真暴露长尾风险：通过simulation instruction人为制造干扰（如部分返回结果、隐藏关键信息），迫使Agent学习处理罕见边缘情况，最终超越纯真实环境训练的效果。适用于电商高风险操作（大额退款、自动调价）的仿真训练，低成本覆盖长尾异常场景。
智能体人工智能全面指南：从基础到系统实现
🧭 Agent 构建 · RL 训练 · RAG 与记忆系统 ★ 深度解读
覆盖 LLM 基础、RL 对齐、Agent 训练、RAG、记忆与推理的工程实践手册
📌 工作参考价值（4 点）
- Agent 训练完整配方：第12章提供轨迹缓冲区、多目标奖励设计、课程学习等细节，可直接用于对话式推荐 Agent 的强化学习训练
- GRPO 与 Agent 优化：详解 GRPO 及其变体（Dr. GRPO、SAPO 等），可迁移到电商 Agent 多轮交互策略的在线优化
- Agentic RAG 模式：查询变换、自我反思、多源路由等模式可直接用于电商搜索中的多步检索与问题解答 Agent
- 记忆系统设计：用户建模、会话连续性、层次化记忆管理器等方案，可落地实现个性化推荐 Agent 的长期记忆管理
回顾式进度感知训练：让LLM智能体在长程任务中自我反思
🧭 LLM智能体训练 · 进度元认知 ★ 深度解读
Shanghai Jiao Tong University · OPPO Research Institute
提出RePro框架，通过前向执行-回顾反思范式训练智能体从已完成轨迹中学习进度估计，以辅助长程任务决策，无需额外奖励模型
📌 工作参考价值（4 点）
- 长程多步决策中引入进度信号：在电商导购、多轮对话等 multi-step agent 场景，可借鉴 RePro 的前向-回顾范式，让模型在完成完整交互后重新标定每一步的完成度，以此作为辅助训练信号，缓解稀疏奖励问题。
- 过程奖励设计思路：复合奖励（进度塑造 + 在线-回顾对齐 + 格式正则化）避免了训练昂贵的独立过程奖励模型，可直接接入 GRPO/GiGPO 等现有 RL 训练管线，适合需要快速迭代的工业界 agent 训练。
- 元认知评估指标：使用 Intermediate Discrimination（成功与失败轨迹的最终进度差）作为进度估计质量的代理指标，可应用于 agent 上线前的离线评估，判断模型是否具备可靠的自我诊断能力。
- 低成本冷启动模板：利用少量外部 LLM 生成的回顾演示进行 SFT 预热，即可建立格式正确的反思行为，然后通过 RL 逐步内化，适合在业务数据上以较少样本启动 agent 的自我反思能力。
SD-Search：策略事后自蒸馏实现搜索增强推理的步骤级监督
🧭 搜索增强推理 · 事后自蒸馏 ★ 深度解读
Kuaishou Technology
提出事后自蒸馏框架，从策略自身获取搜索步骤的细粒度监督，无需外部教师或额外标注
📌 工作参考价值（4 点）
- 从策略自身挖掘步骤级信号：同一模型在训练时分别以“学生”（仅推理时上下文）和“教师”（额外看见同组滚动的事后摘要）两种视角运行，用分布匹配提取各搜索决策的细粒度反馈，无需外部教师或昂贵标注。可在推荐 Agent 的多步交互中复用，对关键决策步骤（如召回、重排）施加 token 级自蒸馏。
- 事后信息块的精巧设计：通过屏蔽答案和思考内容、保留查询与二元结果标签（CORRECT/INCORRECT）构建对比，迫使教师隐含地评价哪些查询值得执行。在对话或推荐 Agent 中，可用历史动作和成功/失败标签构建类似的事后上下文，强化正向动作模式。
- Jensen-Shannon 散度替代 KL 或 MSE：对称、有界的 JSD 比 forward KL（强迫覆盖所有模式）或 reverse KL（过早坍塌到单一模式）更稳定，且对 top-k 截断不敏感，适合 token 级分布对齐。可用于任何需要软目标匹配的生成任务，如生成式推荐中的语义 ID 蒸馏。
- 无额外推理开销的 RL 融合：自蒸馏仅增加一次辅助前向和损失项，不修改奖励或优势计算，训练耗时仅增 15.5%，推理完全不变。低成本地提升了多跳问答的查询质量，而不增加搜索次数，对线上 Agent 服务的效率优化有启发。